Barbara Pierce là con thứ ba của Pauline Robinson (1896–1949) và chồng, Marvin Pierce (1893-1969), Pierce về sau là chủ tịch Công ty McCall, nhà xuất bản các tạp chí phụ nữ nổi tiếng Redbook và McCall’s. Sinh ra và lớn lên trong thị trấn ngoại ô Rye, tiểu bang New York gần Thành phố New York, Barbara theo học tại Trường Rye Country, kế đến tại trường nội trú Ashley Hall ở Charleston, Nam Carolina.Tổ phụ của bà, Thomas Pierce, là dân định cư từ lúc ban đầu của vùng New England, một trong những hậu duệ của ông là Franklin Pierce, Tổng thống thứ 14 của Hoa Kỳ. Mẹ của bà – người được tạp chí W miêu tả là "đẹp, tuyệt vời nhưng hay phê phán và xen vào chuyện người khác" và "từng là người đẹp đến từ Ohio với những sở thích thái quá" - thiệt mạng trong một tai nạn xe hơi do chồng gây ra khi ông, đang lúc điều khiển xe, với tay giữ chiếc cốc cà phê nóng khỏi đổ qua ghế của vợ. Xe của họ tông vào một bức tường đá khiến bà chết tại chỗ.